Quán Khâu Kiệm được thêm chức Giám Dự châu chư quân sự, cầm cờ tiết; ít lâu sau chuyển sang làm Trấn nam tướng quân, rồi đổi làm Trấn đông tướng quân, Đô đốc Dương châu chư quân sự.

Năm 254, con Tư Mã Ý là Tư Mã Sư thay cha nắm quyền trong triều, phế truất Tào Phương lập Tào Mao làm vua. Nghe tin Tư Mã Sư làm việc phế lập Quán Khâu Kiệm và Thứ sử Dương châu Văn Khâm bèn khởi binh thảo phạt Tư Mã Sư. Ông ước hẹn với các tướng: Hộ quân An Phong là Trịnh Ký, Hộ quân Lư Giang là Lã Tuyên, Thái thú Lư Giang là Trương Hưu, Thái thú Hoài Nam là Đinh Tôn, hộ quân Hợp Phì là Chính Hưu cùng giương cờ chống Tư Mã Sư bảo vệ nhà Ngụy.

Quán Khâu Kiệm dâng biểu về Lạc Dương lên Tào Mao, kể 10 tội trạng của Tư Mã Sư; nhưng đồng thời bài biểu lại ca ngợi công lao của Tư Mã Ý và đề nghị Tào Mao dùng em Tư Mã Sư là Tư Mã Chiêu thay thế làm phụ chính nhằm phân hóa hàng ngũ họ Tư Mã[5].

Để có thêm lực lượng, Quán Khâu Kiệm và Văn Khâm cầu cứu Đông Ngô hiệp trợ. Ông và Văn Khâm cùng gửi con tin sang cho vua Ngô là Tôn Lượng đề nghị phát binh, rồi tập hợp 6 vạn quân[5] từ Thọ Xuân tiến về phía tây, nhưng không đánh thẳng tới Lạc Dương hoặc Hứa Xương mà chỉ chiếm Hạng Thành[6] và đóng quân. Các sử gia cho rằng việc không quyết đoán này chính là ngồi chờ đòn phản công của quân địch[5].

Quán Khâu Kiệm sai sứ giả mang thư tới Duyện châu dụ Đặng Ngải ủng hộ mình. Đặng Ngải không nghe theo, giết luôn sứ giả rồi mang quân ra kháng cự.

Tư Mã Sư sai Giám quân Vương Cơ làm tiên phong, đóng đồn ở Nam Đốn ngăn chặn Quán Khâu Kiệm và Văn Khâm, lại sai Đặng Ngải mang 1 vạn quân Thái Sơn ra Lạc Gia để dẫn dụ Quán Khâu Kiệm ra đánh, còn tự mình cầm quân chủ lực tới Nhữ Dương.

Nghe tin Đặng Ngải mang quân tới Lạc Gia, Quán Khâu Kiệm sai Văn Khâm mang quân ra đánh. Trong khi hai bên xuất chiến, Tư Mã Sư mang quân chủ lực đánh tập hậu. Văn Khâm không địch nổi, bị thua tan tác. Các cánh quân và thành trì theo Quán Khâu Kiệm lần lượt đầu hàng

Thấy quân chủ lực thua trận, Quán Khâu Kiệm vội bỏ Hạng Thành chạy, toàn quân Dương châu tan vỡ. Quán Khâu Kiệm chạy tới huyện Thận, núp vào bụi cỏ rậm bên bờ sông, bị một người dân là Trương Thuộc bắn chết. Em ông là Quán Khâu Tú chạy sang đầu hàng Đông Ngô, còn Văn Khâm bại binh cũng bỏ chạy đến hàng Ngô.

Gia tộc hai họ Quán Khâu và họ Văn sau đó bị Tư Mã Sư giết hết.